Loading...
机构名称:
¥ 3.0

大型语言模型(LLM)通过其出色的理解,合成和推理能力彻底改变了自然语言处理。但是,由于计算限制,内存限制和边缘硬件异质性,在资源约束的边缘设备上部署LLM提出了重大挑战。本调查提供了涵盖Edge LLM最近进步的全面概述,涵盖了整个生命周期 - 从资源过高的模型设计和预部主持策略到运行时推理优化。它还探讨了各个域之间的设备应用程序。通过综合最新技术并识别出启示研究方向,该调查弥合了LLM的巨大潜力与边缘计算的约束之间的差距。

arxiv:2410.11845v1 [CS.DC] 29年9月29日

arxiv:2410.11845v1 [CS.DC] 29年9月29日PDF文件第1页

arxiv:2410.11845v1 [CS.DC] 29年9月29日PDF文件第2页

arxiv:2410.11845v1 [CS.DC] 29年9月29日PDF文件第3页

arxiv:2410.11845v1 [CS.DC] 29年9月29日PDF文件第4页

arxiv:2410.11845v1 [CS.DC] 29年9月29日PDF文件第5页

相关文件推荐

2024 年
¥2.0
2024 年
¥1.0